程度|也就是_论文精读：NeuralArchitectureSearchwithoutTraining

篇首语：本文由编程笔记#小编为大家整理，主要介绍了论文精读：Neural Architecture Search without Training相关的知识，希望对你有一定的参考价值。

文章目录

• • 1. Abstract
  • 2. Background
  • 3. Method
  • • 3.1 score
    • 3.2 NASWOT
    • 3.3 AREA
    
    
  • 4. Experiments
  • 5. Core code
  
  

1. Abstract

  手工设计深度神经网络所花费的时间和精力是巨大的&＃xff0c;这推动了神经架构搜索(Neural Architecture Search&＃xff0c;NAS)技术的发展&＃xff0c;以实现自动化设计。然而&＃xff0c;NAS算法往往速度慢且成本昂贵&＃xff1b;它们需要训练大量的候选网络&＃xff0c;以便为搜索过程提供信息。如果我们能够从网络的初始状态部分预测其训练的精度&＃xff0c;这一问题就可以得到缓解。
  在这项工作中&＃xff0c;作者测验了未经训练的网络中数据点之间的激活重叠&＃xff0c;并激励如何能够给出有效表明网络训练性能的度量。作者将这种方法整合到一个简单的算法中&＃xff0c;该算法允许我们在几秒钟内在单个GPU上搜索强大的网络&＃xff0c;而无需任何训练&＃xff0c;并在NAS-Bench-101、NAS-Bench-201、NATS Bench和NDS(Network Design Spaces)上验证了其有效性。
  最终&＃xff0c;作者的算法能够在30s内在NAS-Bench-201搜索空间上搜索到精度为92.81%的网络&＃xff0c;比传统NAS方法快了几个数量级。

  Paper&＃xff1a;https://arxiv.org/abs/2006.04647
  Code&＃xff1a;https://github.com/BayesWatch/nas-without-training

2. Background

  对于一些从业者来说&＃xff0c;NAS仍然很慢。在硬件感知设置中&＃xff0c;能够快速&＃xff08;即以秒为单位&＃xff09;执行NAS将非常有用&＃xff0c;在该设置中&＃xff0c;每个设备和任务通常需要单独搜索。

  评估NAS算法有效性的主要障碍是搜索空间&＃xff08;所有可能网络的集合&＃xff09;太大&＃xff0c;无法进行详尽的评估。下面介绍几个常用的benchmarks&＃xff1a;

3. Method

3.1 score

  作者的目标是设计一种方法&＃xff0c;在初始化时对网络架构进行评分&＃xff0c;以表示其最终训练的精度&＃xff0c;这样就可以使用成本低廉的计算方法来代替NAS算法中昂贵的训练步骤。
  给定一个具有修正线性单元(rectified linear units, RELU)的神经网络&＃xff0c;我们可以在每层的每个RELU单元上确定一个关于该单元是未激活&＃xff08;值为负&＃xff0c;因此乘以零&＃xff09;还是已激活&＃xff08;在这种情况下&＃xff0c;其值乘以一&＃xff09;的二进制指标。固定这些指标变量&＃xff0c;现在网络由线性算子局部定义&＃xff0c;该算子通过将散布在每个层上的线性映射(the linear maps)与二进制校正单元(the binary rectification units)相乘而获得。
  mini-batch data




X


&＃61;






x


i








i


&＃61;


1



N




X &＃61; \\x_i\\_i&＃61;1^N


X&＃61;xi​i&＃61;1N​可以通过神经网络映射为




f


(



x


i



)



f(x_i)


f(xi​)&＃xff0c;$f$中$x$处RELU单元的指示变量形成一个定义线性区域(the linear region)的二进制码





c


i




c_i


ci​。与两个输入相关联的二进制码越相似&＃xff0c;网络学习分离这些输入就越具有挑战性&＃xff0c;当两个输入具有相同的二进制码时&＃xff0c;它们位于网络的相同线性区域内&＃xff0c;因此特别难以分离。相反&＃xff0c;当输入被很好地区分时&＃xff0c;学习应该更容易。下图可视化了ReLU单元的二进制激活码对应的线性区域&＃xff1a;

  其中&＃xff0c;1. 每个ReLU节点





A


i




A_i


Ai​将输入拆分为激活区域(>0)和非激活区域&＃xff0c;我们将激活区域标记为1&＃xff0c;非激活区域标记为0&＃xff1b;2. 与每个节点





A


i




A_i


Ai​相关联的激活和非激活区域相交&＃xff0c;具有相同激活模式的输入空间(input space)区域是共线的(co-linear)&＃xff1b;3. 下一层的ReLU节点$B$将空间进一步划分为激活区域和非激活区域&＃xff1b;4. 给定节点上的每个线性区域都可以由其前面的所有ReLU节点的激活模式唯一定义。
  作者用汉明距离(Hamming distance)





d


H



(



c


i



,



c


j



)



d_H(c_i, c_j)


dH​(ci​,cj​)来衡量两个输入&＃xff08;未训练网络的输入二进制码&＃xff09;的不相似程度(也可以说是相似性程度)&＃xff0c;因此可以通过计算核矩阵(kernel matrix)





K


H




K_H


KH​来测验整个小批量数据的二进制码之间的对应关系&＃xff1a;






K


H



&＃61;



(








N


A



−



d


H



(



c


1



,



c


1



)







…








N


A



−



d


H



(



c


1



,



c


N



)









⋮









⋱






⋮













N


A



−



d


H



(



c


N



,



c


1



)







…








N


A



−



d


H



(



c


N



,



c


N



)







)




K_H &＃61; \\beginpmatrix N_A-d_H(c_1, c_1) & \\dots & N_A-d_H(c_1, c_N) \\\\ \\vdots & \\ddots & \\vdots \\\\ N_A-d_H(c_N, c_1) & \\dots & N_A-d_H(c_N, c_N) \\endpmatrix


KH​&＃61;⎝⎜⎛​NA​−dH​(c1​,c1​)⋮NA​−dH​(cN​,c1​)​…⋱…​NA​−dH​(c1​,cN​)⋮NA​−dH​(cN​,cN​)​⎠⎟⎞​  其中&＃xff0c;





N


A




N_A


NA​是网络中RELU单元的数量&＃xff0c;$N$是mini-batch的大小&＃xff0c;这里是128。

  这一点理解有些别扭&＃xff0c;核矩阵





K


H




K_H


KH​衡量的是不同数据输入的相似性程度&＃xff0c;相似性程度越低&＃xff0c;





K


H




K_H


KH​越接近于对角线。

  高性能网络具有较少的非对角元素和较高的相似性&＃xff08;如下图&＃xff09;&＃xff0c;可以利用这一观察结果来预测未经训练的网络的最终性能&＃xff0c;作者使用以下公式来评估模型的性能&＃xff1a;





s


&＃61;


l


o


g


∣



K


H



∣



s&＃61;log |K_H|


s&＃61;log∣KH​∣  





K


H




K_H


KH​越接近于对角线(最好只有对角线&＃xff0c;也就是相似性越低&＃xff0c;即不相似性越高)&＃xff0c;$s$越高&＃xff0c;表示训练后的模型精度更高。

  举个简单的栗子&＃xff1a;
    假设





K


H



&＃61;



(






a






b








c






d






)




K_H &＃61; \\beginpmatrix a & b \\\\ c & d \\endpmatrix


KH​&＃61;(ac​bd​)&＃xff0c;则




∣



K


H



∣


&＃61;



∣






a






b








c






d






∣



&＃61;


a


d


−


b


c



|K_H| &＃61; \\beginvmatrix a & b \\\\ c & d \\endvmatrix&＃61;ad-bc


∣KH​∣&＃61;∣∣∣∣​ac​bd​∣∣∣∣​&＃61;ad−bc&＃xff0c;当b&＃61;c&＃61;0时&＃xff0c;




∣



K


H



∣



|K_H|


∣KH​∣有最大值&＃xff0c;即





K


H



&＃61;



(






a






0








0






d






)




K_H &＃61; \\beginpmatrix a & 0 \\\\ 0 & d \\endpmatrix


KH​&＃61;(a0​0d​)&＃xff0c;此时





K


H




K_H


KH​是一个对角矩阵&＃xff0c;也就是只有主对角线元素有值&＃xff0c;其它位置均为0。此时的





K


H




K_H


KH​表示的相似性程度最低&＃xff0c;相应的$var\; cpro\_id\; =\; "u6885494";$